Sử sách còn lưu lại thì Điện Đông Hải được xây dựng từ nửa cuối thế kỷ thứ 13, thờ vị anh hùng dân tộc Yết Kiêu. Tương truyền rằng, sau khi trấn giữ Sông Lục Nam cứu sống Hưng Đạo Vương-Trần Quốc Tuấn thoát khỏi vòng vây quân giặc, ông đã được Vua khen và ban thưởng. Sau này Khi Yết Kiêu tử trận tại Bến Đông Hải (cửa Biển Đông) nhân dân trong vùng cảm tạ tấm lòng vì dân vì nước nên lập đền thờ. Yết Kiêu được lập đền thờ ở: xã Yết Kiêu, Gia Lộc, tỉnh Hải Dương và đền Phủ Võng bên sông Vân ở thành phố Ninh Bình. Tại quê mẹ của ông, làng Lôi Động, xã Tân An, huyện Thanh Hà cũng có thờ ông - Thành hoàng của làng.

Ở Ninh Bình, Yết Kiêu được thờ cùng Trần Hưng Đạo và các vua nhà Trần trong khu di tích hành cung Vũ Lâm. Ông cũng được thờ tại di tích phủ Võng bên sông Vân.